Sau khi Tứ tổ qua đời, sư thành lập một thiền viện trên núi Hoàng Mai. Nơi đây xảy ra chuyện truyền y bát cho Huệ Năng và sự phân chia của Thiền tông ra Nam thiền và Bắc thiền, biểu hiệu của một bước ngoặt lớn trong lịch sử Thiền tông Trung Quốc.

Niên hiệu Thượng Nguyên năm thứ hai, sư nói với các môn đệ:“Việc ta nay đã xong, đến lúc phải đi thôi“. Rồi vào thất, ngồi an nhiên thị tịch, thọ 74 tuổi. Đệ tử xây tháp thờ núi tại Đông Sơn, Hoàng Mai. Vua Đường Đại Tông ban hiệu là Đại Mãn Thiền sư, tháp hiệu Pháp Vũ.